谷歌Jeff Dean重磅论文：弹性大规模分布式预训练终于可行了

谷歌提出Decoupled DiLoCo分布式训练技术，通过解耦学习器与轻量同步器实现高容错、高吞吐的大规模AI模型训练，在240万芯片集群中将有效计算率从58%提升至88%，显著降低带宽需求并支持异构硬件和动态算力接入。